Ngày 11 tháng 6 năm 1965, Quốc trưởng Phan Khắc Sửu và Thủ tướng Phan Huy Quát tuyên bố trả lại quyền lãnh đạo quốc gia cho quân đội.

Ngày 14 tháng 6 năm 1965, Ủy ban Lãnh đạo Quốc gia đã được thành lập do tướng Nguyễn Văn Thiệu làm Chủ tịch (tương đương quốc trưởng), tướng Nguyễn Cao Kỳ làm Chủ tịch Ủy ban hành pháp trung ương (tương đương thủ tướng)[6]

Sau đó, Phạm Ngọc Thảo phải rút vào hoạt động bí mật, lẩn tránh sự truy bắt của chính quyền, nhưng vẫn còn nắm được 1 tiểu đoàn[6]. Ông tiếp tục chuẩn bị tư tưởng cho các hoạt động cách mạng bằng cách xuất bản tờ báo "Việt Tiến", mỗi ngày phát hành trên 50.000 tờ, tuyên truyền tinh thần yêu nước. Ông có cả một hàng rào bảo vệ rộng lớn từ các xứ đạo Biên Hòa tới Hố Nai, Thủ Đức; có nhiều linh mục giúp đỡ in ấn, phát hành tờ Việt Tiến. Lúc này, ông bị chính quyền Thiệu-Kỳ kết án tử hình và treo giải 3 triệu đồng cho ai bắt được nhưng vẫn liên lạc với cơ sở cách mạng trực tiếp là Sáu Dân (bí danh của Võ Văn Kiệt) để hoạt động tiếp.

Ông Võ Văn Kiệt kể lại: "tôi thấy Phạm Ngọc Thảo quá khó khăn nên đi tìm anh để đưa về chiến khu. Nhưng anh bảo vẫn còn khả năng đảo chính thành công quyết tâm ngăn chặn bàn tay đế quốc Mỹ định đưa quân viễn chinh vào miền Nam, cản trở kế hoạch ồ ạt đổ quân vào Đà Nẵng cuối tháng 5/1965...".

Đại sứ quán Mỹ cũng đề nghị đưa ông ra nước ngoài an toàn nhưng ông từ chối.

Sau khi nhậm chức, Nguyễn Văn Thiệu quyết định tìm bắt và giết Phạm Ngọc Thảo để trừ hậu họa.[6] Tướng Lâm Văn Phát đã ra trình diện và chỉ bị cách chức, nhưng đại tá Phạm Ngọc Thảo phải trốn nhiều nơi, cuối cùng đến trốn trong Đan viện Phước Lý ở xã Vĩnh Thanh, Nhơn Trạch, Biên Hòa. Lúc 3 giờ sáng ngày 16 tháng 7 năm 1965, khi ông vừa ra khỏi Đan viện Phước Lý thì bị an ninh quân đội mai phục sẵn bắt rồi đưa về một suối nhỏ gần Tam Hiệp, Biên Hòa, thủ tiêu.

Tuy nhiên Phạm Ngọc Thảo không chết mà chỉ bị ngất vì viên đạn chỉ trúng cằm. Tỉnh dậy, ông cố lết về một nhà thờ. Ông được linh mục Cường, cha tuyên úy của Dòng Nữ tu Đa Minh, Tam Hiệp cứu chữa. Sau đó ông chủ động xin chuyển tới chỗ khác phòng khi An ninh quân đội tới truy tìm, nhưng bị phát giác và ông lại bị an ninh quân đội bắt về Cục an ninh quân đội, đường Nguyễn Bỉnh Khiêm, Sài Gòn. Ông bị Sáu Lèo và thuộc hạ tra tấn dã man và bóp hạ bộ[7] ông cho đến chết[8] vào đêm 17 tháng 7 năm 1965.[1] Khi đó ông mới 43 tuổi.

Nguyễn Ngọc Loan được cho là đã sát hại ông lúc đó. Linh mục Nguyễn Quang Lãm (chủ bút Báo Xây dựng), người có tình cảm đặc biệt đối với Phạm Ngọc Thảo, đã che chở, giữ liên lạc và làm tất cả những gì có thể làm được để giúp Phạm Ngọc Thảo). Sau khi Phạm Ngọc Thảo bị giết hại, Báo Xây dựng của cha Lãm đã đăng loạt bài điều tra 40 kỳ về cái chết của ông. Chưa hết, gần 10 năm sau, vào năm 1974, cha Lãm còn viết một loạt bài nhiều kỳ đăng trên Báo Hòa Bình, lại đề cập đến việc ai đã giết Phạm Ngọc Thảo, ai đã bán đứng Phạm Ngọc Thảo. Chính cha Lãm đã trực tiếp gặp Nguyễn Ngọc Loan để hỏi cho ra nhẽ. Tướng Loan chối, bảo rằng không có chuyện đó, rằng ông Thảo chết là do bị thương quá nặng, mình không liên quan đến chuyện bắt bớ ông Thảo. Linh mục Nguyễn Quang Lãm đem lời tướng Loan kể lại cho đàn em và bạn bè Phạm Ngọc Thảo, nhưng không ai tin, “người ta sẵn sàng tin là tướng Loan nói thật, nhưng đó là sự thật ghi trên các phúc trình, báo cáo, biên bản của bác sĩ”. Vị linh mục còn viết tiếp: “Tôi biết chắc những người có dụng ý loại trừ Thảo không muốn chuyện bắt bớ kéo dài kéo theo nhiều chuyện lôi thôi. Bởi họ không thể không biết đại tá Phạm Ngọc Thảo rất được cảm tình và sự che chở của nhiều chức sắc cao cấp Công giáo. Nếu Phạm Ngọc Thảo bị giải về Sài Gòn, chờ ngày ra tòa lãnh án thì tất nhiên sẽ có nhiều tiếng nói can thiệp, nhiều áp lực ngay cả do phía tòa đại sứ Mỹ. Vì vậy biện pháp áp dụng là thủ tiêu ngay”. Năm 2012, trong một bài báo của báo báo Thanh Niên linh mục Nguyễn Quang Lãm kể lại đã từng hỏi Nguyễn Cao Kỳ: "Hồi đó mọi người đều nói tướng Nguyễn Ngọc Loan tự tay giết chết Phạm Ngọc Thảo. Mà tướng Loan từng là người thân cận của ông?”. Nguyễn Cao Kỳ đã trả lời: “Tôi không biết ông Loan có giết ông Thảo hay không, nhưng mọi quyết định đều do ông Thiệu”.[7]

Có ý kiến nói rằng Phạm Ngọc Thảo bị Nguyễn Văn Thiệu ra lệnh giết hại là bởi ông ta không tin Phạm Ngọc Thảo là Đảng viên cộng sản, nếu tin Phạm Ngọc Thảo là Đảng viên cộng sản thì Nguyễn Văn Thiệu sẽ không giết Phạm Ngọc Thảo. Bởi kinh nghiệm từ cuộc đảo chính lật đổ Ngô Đình Diệm, Nguyễn Văn Thiệu không cảm thấy lo sợ những người cộng sản bằng một người không cộng sản được Mỹ và Giáo hội Công giáo hậu thuẫn để làm đảo chính lật đổ ông ta.